수능 국어 모의문항 출제용 AI 시스템 💯
문서 작성일 : 2025.09.12
한국 대학수학능력시험 국어 영역(독서) 학습을 위한 모의 문항을 출제하는 AI 에이전트 시스템
한국 대학수학능력시험의 국어 영역, 그 중에서도 독서 영역은 수험생들의 배경 지식이 아닌 논리적 독해력과 정보인지 능력을 평가합니다. 수험생들은 지문에 서술된 복잡한 논리적 규칙을 이해하고, 이를 이용해 지문에 나와 있지 않은 정보를 논리적으로 추론하거나 새로운 맥락에 적용해야 합니다.
그러나 ChatGPT, Claude 등의 범용 AI는 일반적인 지식을 전달하는 능력은 뛰어나지만, 수능 국어 지문이라는 특수한 목적의 텍스트를 구성하는 능력은 부족했습니다. 가령, 작문 능력이 탁월한 Claude에게 “위 예시와 동일한 주제로 독해력 평가용 지문과 문항을 작성해 줘”라고 요청하면, 아래와 같이 수험생들이 이해할 수 없는 전문 지식을 늘어놓을 뿐인 단순한 구조의 글을 생성합니다. 문항 또한 지문의 어구 또는 문장에 그대로 나와 있는 내용을 단순히 확인하는 수준에 그칩니다.
2024학년도 수능
이상치를 포함하는 데이터에서 직선 L을 찾는다고 하자.
이때 사용할 수 있는 기법의 하나인 A기법은 두 점을 무작위로 골라 정상치 집합으로 가정하고, 이 두 점을 지나는 후보 직선을 그어 나머지 점들과 후보 직선 사이의 거리를 구한다. 이 거리가 허용 범위 이내인 점들을 정상치 집합에 추가한다.
정상치 집합의 점의 개수가 미리 정해 둔 기준, 즉 문턱값보다 많으면 후보 직선을 최종 후보군에 넣는다. 반대로 점의 개수가 문턱값보다 적으면 후보 직선을 버린다. 만약 처음에 고른 점이 이상치이면, 대부분의 점들은 해당 후보 직선과의 거리가 너무 멀어 이 직선은 최종 후보군에서 제외되는 것이다.
문제: A기법에서 후보 직선의 정상치 집합에는 이상치가 포함될 수 있다. (O/X)
AI 생성 지문 - Claude Sonnet 4
평면 데이터에서 이상치를 탐색하는 알고리즘은 크게 통계적 방법과 기계학습 방법으로 나뉘는데, 가장 단순한 방법은 각 점이 데이터의 평균으로부터 얼마나 떨어져 있는지를 표준편차단위로 측정하는 Z-score를 사용하여 특정 임계값(보통 3)을 넘는 점들을 이상치로 분류하는 것이다.
더 정교한 방법으로는 데이터의 공분산 구조를 고려하는 Mahalanobis 거리를 활용하거나, DBSCAN이나 LOF(Local Outlier Factor)같은 밀도 기반 알고리즘을 통해 주변 점들에 비해 상대적으로 밀도가 낮은 영역에 있는 점들을 이상치로 탐지하는 방법이 있다.
최근에는 Isolation Forest나 One-Class SVM 같은 기계학습 알고리즘들이 복잡한 패턴의 이상치도 효과적으로 탐지할 수 있어 널리 사용되고 있다.
문제: 다음 중 지문에서 제시한 평면 데이터에서의 이상치 특성이 아닌 것은?
① 거리적 고립성 ② 밀도적 차이 ③ 시간적 연속성 ④ 주변 데이터와의 현저한 차이
최신 SOTA급 LLM의 고도화된 Reasoning 능력을 감안했을 때, 저희는 이것이 LLM의 성능 부족이 아니라 수능 국어라는 특수한 도메인에 대한 이해도 부족에서 기인한 문제라고 분석했습니다. 즉, 약간의 미세 조정(Fine-Tuning)을 통한 Allignment 작업을 통해 개선될 수 있을 것이라고 판단하고 다음과 같은 개발 목표를 수립했습니다.
{"messages" : [
{"role": "user", "content": "분야: 인문사회 (사회)\n유형: 단일형\n주제: 헤겔과 뒤르켐의 시민 사회론 비교"},
{"role": "assistant", "content": "<think>사용자는 수능 국어 독서 지문을 작성하길 원하고, 분야는 사회 분야, 유형은 단일형 지문이다. 주제는 헤겔과 뒤르켐의 시민 사회론을 비교하는 것이다. 사회 분야 지문은 사회 이론이나 사상가들의 견해를 비교 분석하는 구조가 효과적이다. 특히 이 주제는 두 사상가의 이론을 각각의 시대적 맥락 속에서 이해하고 비교해야 하므로, 시대적 배경 → 각 학자의 문제 인식과 해결책 → 비교 분석의 순서로 전개하는 것이 좋겠다.먼저 도입부를 어떻게 구성할지 고민해보자. 독자가 '사회 이론'이라는 개념 자체에 익숙하지 않을 수 있으니, 사회 이론의 특성을 먼저 제시하여 글 전체의 맥락을 제공해야겠다. 특히 사회 이론이 과학적이면서도 시대적 조건에 영향받는다는 이중적 특성을 강조하면, 뒤에 나올 헤겔과 뒤르켐 이론의 시대성을 이해하는 틀을 제공할 수 있을 것이다</think>", "tool_calls": {"input": "사회 이론의 정의와 특징에 대해 설명해 주세요. 특히 사회 이론이 과학적 방법을 사용하면서도 역사적 조건이나 사회 상황과 어떤 관계를 갖는지 자세히 설명해 주세요."}},
{"role": "tool", "content": "사회 이론(social theory)은 사회 구조, 사회적 상호 작용, 사회 변동 등을 체계적으로 연구하는 이론들을 통칭하는 개념입니다. 사회 이론은 자연과학처럼 객관적이고 과학적인 방법론을 추구하면서도, 연구 대상인 사회 자체가 역사적으로 변화하고 문화적으로 다양하다는 특수성을 지닙니다. 더 나아가 이론을 만드는 학자 자신도 특정한 시대와 사회에 속해 있기 때문에, 이론 자체가 당대의 사회 상황이나 역사적 조건에 긴밀히 연관됩니다. 예를 들어 19세기 유럽의 산업화와 도시화 과정에서 나타난 사회 문제들은 당시 사회학자들의 문제의식을 형성했고, 이는 그들의 이론에 직접적으로 반영되었습니다."},
(...)
{"role": "assistant", "content": "<think>전문가로부터 헤겔과 뒤르켐의 비교 분석에 대한 종합적인 정보를 얻었다. 이제 모든 정보를 바탕으로 완성된 지문의 구조를 확정하고 마무리해야겠다. 도입부에서 사회 이론의 특성을 제시하고, 헤겔과 뒤르켐 각각의 시대적 맥락과 이론을 순차적으로 전개한 후, 비교 분석과 함께 사회 이론의 시대성에 대한 성찰로 마무리하는 구조가 적절하다. 이렇게 하면 독자가 두 학자의 이론을 각각의 맥락 속에서 이해하고, 나아가 사회 이론 자체의 특성에 대해서도 사고할 수 있을 것이다.</think>[최종 지문 생략]"}
]
}
KSAT-Flash 모델의 지문 예시
국가 권력은 국회, 정부, 법원으로 나뉘며 각각 입법, 집행, 해석의 역할을 수행한다. 이 가운데 사법부가 국회나 정부의 결정이 헌법에 어긋나는지에 대하여 판단하는 것을 사법심사라고 한다. 사법심사의 목적은 개인의 기본권을 보호하고, 입법부나 행정부가 자신들의 권한을 넘어서거나 잘못 행사할 때 이를 감시하고 견제함으로써 국가 권력 간의 균형을 유지하는 것이다. 그런데 사법부는 다수의 의견보다는 헌법과 같은 법의 원칙에 따라 판단한다. 따라서 사법부의 판단은 국민 다수의 여론과 충돌할 수 있는데, 이러한 사법심사를 ‘반민주주의적 딜레마’라고 부르는 학자도 있다. 사법부의 판단이 국민 다수의 의사에 따른 결정을 배제할 수 있기 때문에, 사법심사가 국가의 중요한 결정을 국민의 의사에 따라 내리는 민주주의 원칙에 부합하지 않는다는 것이다.
이러한 비판에도 불구하고 사법심사를 민주주의 실현의 과정으로 보는 견해도 있다. 민주주의는 국민 다수의 의사만을 의미하지 않으며, 헌법에 보장된 소수의 기본권을 보호하는 과정도 포함한다는 것이다. 사법부는 다수의 의사에 따른 법률이라고 하더라도 헌법에 명시된 기본권을 침해하거나 헌법의 기본 정신에 어긋난다고 판단되면, 해당 법률이 효력을 가질 수 없다고 판단할 수 있다. 이때 사법부는 다수의 의견이 아닌 법의 원칙에 따라 판단하는 것이다. 이러한 사법부의 판단은 다수의 의사에 따른 결정에 대한 반대로 인식되기도 한다. 하지만 사법부가 다수의 의사와 다른 판단을 내려야 하는 경우, 사법부는 여론을 설득하기 위한 설명을 추가하여 국민적 공감대를 형성하려는 노력을 한다. 여론은 사법부의 판결에 직접적으로 영향을 미치지는 않지만, 판결의 내용 자체보다는 판결이 나온 논리에 대하여 국민적 공감대를 얻는 데 영향을 미칠 수 있다. 즉 사법심사는 국민 다수의 의사를 반영하여 법률을 심사하고, 사법심사의 결과로 사법부가 다수의 의견과 다른 판단을 내려야 할 때는 국민적 공감대를 얻는 과정을 통해 민주주의를 실현할 수 있다는 것이다.
한편 사법부의 판결이 여론과 충돌할 때 발생하는 문제를 해결하기 위해서는 판결문이 설득력을 갖추어야 한다는 견해가 있다. 판결이 여론과 어긋난다고 느끼는 국민적 공감대가 형성될 경우, 사법부에 대한 신뢰가 하락하고 사회적 갈등이 유발될 수 있기 때문이다. 그리고 사법부에 대한 국민적 공감대가 낮아지면, 사법부의 권위가 훼손되고 법치주의가 위협받을 수 있다. 이러한 문제점들을 해결하기 위해 판결문은 국민 다수를 설득하여 판결이 정당하다는 인식을 심어 줄 수 있도록 작성되어야 한다. 판결문이 단순하게 판결의 결론만을 제시하는 것이 아니라 판결의 이유도 함께 설명한다면 판결의 정당성을 얻는 데 기여할 수 있다는 것이다. 하지만 판결문이 누구를 설득해야 하는지에 대하여 학자들의 견해는 다르다. 미국의 법학자인 포즈너는 판결문이 법률 전문가를 주된 설득 대상으로 한다고 본다. 법률을 해석하고 적용하는 데 필요한 법률 지식은 일반인이 접근하기 어렵기 때문에, 판결문은 법률 전문가에게 논리적 타당성을 설득해야 한다는 것이다. 반면 미국 행정법의 전문가인 바움은 판결문이 법률 전문가뿐만 아니라 일반 대중을 포함한 모든 사람을 설득해야 한다고 주장한다. 사법부는 판결문을 통해 여론과 판결의 간극을 줄여 판결이 정당하다는 것을 인식시킴으로써 사법부의 정당성을 확보하고, 사회적 갈등을 줄여 궁극적으로 사회 통합에 기여할 수 있다는 것이다.
이러한 학자들의 견해는 실제로는 어떻게 나타날까? 우리 대법원은, 사회적으로 논란이 된 사안에 대하여 기존의 판례를 변경하는 판결을 내릴 때, 판결이 단순히 여론을 따르는 것이 아니라 법리적으로 충분한 근거를 가지고 있음을 보여 주는 추가적인 설명을 제공한다. 양심적 병역거부 판결과 같이 사회적 논란이 큰 사안에서 대법원은 기존 판례의 변경이 법리적으로 타당하다는 점을 명시하여 사법부의 정당성을 확보하고자 하였다. 사법부는 사회 변화를 수용하여 법을 재해석하는 역할을 수행하기도 하는데, 이 과정에서 사법부는 판결문의 설득적 기능과 사법부의 독립성에 대한 논의를 촉발했다. 판결문의 설득력이 판결문의 정당성을 높이는 데 기여하지만, 판결문의 설득적 기능이 사법부의 독립성을 훼손하는 것은 아닌지에 대해서는 여전히 논의되고 있다.